Vision Transformers (ViTs) have become a dominant paradigm for visual representation learning with self-attention operators. Although these operators provide flexibility to the model with their adjustable attention kernels, they suffer from inherent limitations: (1) the attention kernel is not discriminative enough, resulting in high redundancy of the ViT layers, and (2) the complexity in computation and memory is quadratic in the sequence length. In this paper, we propose a novel attention operator, called lightweight structure-aware attention (LiSA), which has a better representation power with log-linear complexity. Our operator learns structural patterns by using a set of relative position embeddings (RPEs). To achieve log-linear complexity, the RPEs are approximated with fast Fourier transforms. Our experiments and ablation studies demonstrate that ViTs based on the proposed operator outperform self-attention and other existing operators, achieving state-of-the-art results on ImageNet, and competitive results on other visual understanding benchmarks such as COCO and Something-Something-V2. The source code of our approach will be released online.
translated by 谷歌翻译
估计越野环境中的地形横穿性需要关于机器人和这些地形之间复杂相互作用动态的推理。但是，建立准确的物理模型，或创建有益的标签来以有监督的方式学习模型是有挑战性的。我们提出了一种方法，该方法通过将外部感受性的环境信息与本体感受性的地形相互作用反馈相结合，以自我监督的方式将遍历性成本映像结合在一起。此外，我们提出了一种将机器人速度纳入Costmap预测管道中的新型方法。我们在具有挑战性的越野地形上，在多个大型，自动的全地形车辆（ATV）上验证了我们的方法，并在单独的大型地面机器人上易于集成。我们的短尺寸导航结果表明，使用我们学到的Costmaps可以使整体航行更顺畅，并为机器人提供了对机器人与不同地形类型（例如草和砾石）之间相互作用的更细粒度的了解。我们的大规模导航试验表明，与基于占用率的导航基线相比，我们可以将干预措施的数量减少多达57％，这是在挑战400 m至3150 m不等的越野课程中。
translated by 谷歌翻译
我们将图形神经网络训练来自小工具N体模拟的光晕目录的神经网络，以执行宇宙学参数的无现场级别可能的推断。目录包含$ \ Lessim $ 5,000 HAROS带质量$ \ gtrsim 10^{10} 〜h^{ - 1} m_ \ odot $，定期卷为$（25〜H^{ - 1} {\ rm mpc}）{\ rm mpc}） ^3 $;目录中的每个光环都具有多种特性，例如位置，质量，速度，浓度和最大圆速度。我们的模型构建为置换，翻译和旋转的不变性，不施加最低限度的规模来提取信息，并能够以平均值来推断$ \ omega _ {\ rm m} $和$ \ sigma_8 $的值$ \ sim6 \％$的相对误差分别使用位置加上速度和位置加上质量。更重要的是，我们发现我们的模型非常强大：他们可以推断出使用数千个N-n-Body模拟的Halo目录进行测试时，使用五个不同的N-进行测试时，在使用Halo目录进行测试时，$ \ omega _ {\ rm m} $和$ \ sigma_8 $身体代码：算盘，Cubep $^3 $ M，Enzo，PKDGrav3和Ramses。令人惊讶的是，经过培训的模型推断$ \ omega _ {\ rm m} $在对数千个最先进的骆驼水力动力模拟进行测试时也可以使用，该模拟使用四个不同的代码和子网格物理实现。使用诸如浓度和最大循环速度之类的光环特性允许我们的模型提取更多信息，而牺牲了模型的鲁棒性。这可能会发生，因为不同的N体代码不会在与这些参数相对应的相关尺度上收敛。
translated by 谷歌翻译
急诊部门（EDS）是葡萄牙国家卫生服务局的基本要素，可作为具有多样化和非常严重医疗问题的用户的切入点。由于ED的固有特征；预测使用服务的患者数量特别具有挑战性。富裕和医疗专业人员人数之间的不匹配可能会导致提供的服务质量下降，并造成对整个医院产生影响的问题，并从其他部门征用医疗保健工作者以及推迟手术。 。 ED人满为患的部分是由非紧急患者驱动的，尽管没有医疗紧急情况，但诉诸于紧急服务，几乎占每日患者总数的一半。本文描述了一种新颖的深度学习体系结构，即时间融合变压器，该结构使用日历和时间序列协变量来预测预测间隔和4周期间的点预测。我们得出的结论是，可以预测葡萄牙健康区域（HRA）（HRA）的平均绝对百分比误差（MAPE）和均方根误差（RMSE）为84.4102人/天的平均绝对百分比误差（MAPE）。本文显示了支持使用静态和时间序列协变量的多元方法的经验证据，同时超越了文献中常见的其他模型。
translated by 谷歌翻译
卷积和复发性神经网络的结合是一个有希望的框架，它允许提取高质量时空特征以及其时间依赖性，这是时间序列预测问题（例如预测，分类或异常检测）的关键。在本文中，引入了TSFEDL库。它通过使用卷积和经常性的深神经网络来编译20种时间序列提取和预测的最先进方法，用于在多个数据挖掘任务中使用。该库是建立在AGPLV3许可下的一组TensorFlow+Keras和Pytorch模块上的。本提案中包含的架构的性能验证证实了此Python软件包的有用性。
translated by 谷歌翻译
对于大型小分子的大型库，在考虑一系列疾病模型，测定条件和剂量范围时，详尽的组合化学筛选变得不可行。深度学习模型已实现了硅的最终技术，以预测协同得分。但是，药物组合的数据库对协同剂有偏见，这些结果不一定会概括分布不足。我们采用了使用深度学习模型的顺序模型优化搜索来快速发现与癌细胞系相比的协同药物组合，而与详尽的评估相比，筛查要少得多。在仅3轮ML引导的体外实验（包括校准圆圈）之后，我们发现，对高度协同组合进行了查询的一组药物对。进行了另外两轮ML引导实验，以确保趋势的可重复性。值得注意的是，我们重新发现药物组合后来证实将在临床试验中研究。此外，我们发现仅使用结构信息生成的药物嵌入开始反映作用机理。
translated by 谷歌翻译
随机平滑最近被出现为一种有效的工具，可以在尺度上进行深度神经网络分类器认证。随机平滑的所有现有技术都集中在各向同性$ \ ell_p $认证，这具有通过$ \ ell_p $ -norm半径在各向同性方法中可以轻松地进行证书的优势。然而，各向同性认证限制了可以通过输入到最坏情况对手的输入的区域，即，它不能推理其他“关闭”，潜在的大，恒定的预测安全区域。为了缓解这个问题，（i）我们在简化分析后理论上将各向同性随机平滑$ \ ell_1 $和$ \ ell_2 $证明延伸到其广泛的各向异性同行。此外，（ii）我们提出了评估指标，允许比较一般证书 - 如果它通过经过认证区域的卷定量每个证书的量化，证书优于另一个证书。我们介绍ACCER，是通过体积最大化获得给定测试集样本的各向异性证书的实际框架。我们的经验结果表明，ACCER在多个半径的CIFAR-10和ImageNet上实现最先进的$ \ ell_1 $和$ \ ell_2 $认证准确性，同时在体积方面认证大幅更大的地区，从而突出了益处远离各向同性分析。我们的代码可以在https://github.com/motasemalfarra/ancer中获得。
translated by 谷歌翻译
Covid-19（2019年冠状病毒病）的爆发改变了世界。根据世界卫生组织（WHO）的说法，已确认有超过1亿个COVID案件，其中包括超过240万人死亡。早期发现该疾病非常重要，并且已证明使用医学成像，例如胸部X射线（CXR）和胸部计算机断层扫描（CCT）是一个极好的解决方案。但是，此过程要求临床医生在手动和耗时的任务中进行此操作，这在试图加快诊断加快时并不理想。在这项工作中，我们提出了一个基于概率支持向量机（SVM）的集成分类器，以识别肺炎模式，同时提供有关分类可靠性的信息。具体而言，将每个CCT扫描分为立方斑块，并且每个CCT扫描中包含的特征都通过应用核PCA提取。在合奏中使用基本分类器使我们的系统能够识别肺炎模式，无论其尺寸或位置如何。然后，根据每个单个分类的可靠性，将每个单独的贴片的决策组合成一个全局：不确定性越低，贡献越高。在实际情况下评估性能，准确度为97.86％。获得的大型性能和系统的简单性（在CCT图像中使用深度学习将导致巨大的计算成本）证明我们的建议在现实世界中的适用性。
translated by 谷歌翻译
The recent increase in public and academic interest in preserving biodiversity has led to the growth of the field of conservation technology. This field involves designing and constructing tools that utilize technology to aid in the conservation of wildlife. In this article, we will use case studies to demonstrate the importance of designing conservation tools with human-wildlife interaction in mind and provide a framework for creating successful tools. These case studies include a range of complexities, from simple cat collars to machine learning and game theory methodologies. Our goal is to introduce and inform current and future researchers in the field of conservation technology and provide references for educating the next generation of conservation technologists. Conservation technology not only has the potential to benefit biodiversity but also has broader impacts on fields such as sustainability and environmental protection. By using innovative technologies to address conservation challenges, we can find more effective and efficient solutions to protect and preserve our planet's resources.
translated by 谷歌翻译
We present the interpretable meta neural ordinary differential equation (iMODE) method to rapidly learn generalizable (i.e., not parameter-specific) dynamics from trajectories of multiple dynamical systems that vary in their physical parameters. The iMODE method learns meta-knowledge, the functional variations of the force field of dynamical system instances without knowing the physical parameters, by adopting a bi-level optimization framework: an outer level capturing the common force field form among studied dynamical system instances and an inner level adapting to individual system instances. A priori physical knowledge can be conveniently embedded in the neural network architecture as inductive bias, such as conservative force field and Euclidean symmetry. With the learned meta-knowledge, iMODE can model an unseen system within seconds, and inversely reveal knowledge on the physical parameters of a system, or as a Neural Gauge to "measure" the physical parameters of an unseen system with observed trajectories. We test the validity of the iMODE method on bistable, double pendulum, Van der Pol, Slinky, and reaction-diffusion systems.
translated by 谷歌翻译